Hiếu Thành Triệu hoàng hậu xuất thân hàn vi, cha mẹ ruột vốn là những nô lệ của phủ dịch Triệu Lâm (趙臨), có chỗ lại nói chính Triệu Lâm là cha ruột. Vì quá nghèo, sau khi sinh ra bà thì định bỏ rơi, sau 3 ngày bà vẫn sống nên lại đem về[2]. Sử sách không lại ghi tên thật của Triệu Phi Yến cùng em gái, tiểu thuyết Phi Yến ngoại truyện ghi bổn danh của bà là [Nghi Chủ; 宜主], em gái là Triệu Hợp Đức. Khi lớn lên, Triệu Nghi Chủ được tuyển làm ca nữ trong phủ của Dương A công chúa (陽阿公主). Lúc vào tập múa hát, do thân hình uyển chuyển, nhẹ như chim yến, nên từ đó được gọi là [Phi Yến; 飛燕][3].

Còn trong Phi Yến ngoại truyện, câu chuyện về hai chị em bà là cả một truyền kỳ. Vợ của Giang Đô trung úy Triệu Mạn (赵曼), là Cô Tô quận chúa (姑苏郡主), cháu gái của Giang Đô vương, tư thông với gia nhân là Phùng Vạn Kim (冯万金), sinh ra 2 cô con gái, chính là chị em Triệu thị, sau đó Cô Tô quận chúa đem hai đứa bé này vứt bỏ, ba ngày sau Cô Tô quận chúa phát hiện cả hai đều còn sống, tâm không đành lòng, lại đem các con ôm trở về, giao cho Phùng Vạn Kim nuôi nấng. Sau đó Vạn Kim qua đời, Phùng gia suy bại mà từ Cô Tô lưu lạc đến Trường An, được gọi là Triệu Chủ Tử. Sau đó, nàng lấy tài nghệ thêu thùa mà lấy lòng Triệu Lâm, quan dịch nô hầu trong phủ Dương A công chúa, vì vậy được Triệu Lâm nhận làm con nuôi.

Tiểu thuyết thời nhà Tống là Triệu Phi Yến biệt truyện (赵飞燕别传) ghi lại hai chị em từng phải làm giày rơm kiếm sống[4].